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(S) Verfahren zur Darstellung beweglicher Korper. 


(5?) Die Erfindung betrifft ein Verfahren zur Dar- 
stellung beweglicher Korper, bei dem eine opti- 
sche Darstellung des Korpers und ein dem 
Korper zugeordnetes Datenfeld gleichzeitig 
oder alternativ aus der selben Perspektive und 
im selben MaOstab in Echtzeit dargestellt wer- 
den. Das Verfahren besteht aus folgenden 
Schritten : 

— Bereitstellung eines optischen Abbil- 
dungssystems bestehend aus Kamera und Mo- 
nitor ; 

— Zuordnung eines raumlichen Datenfeldes 
zu dem in einer bestimmten Lage befindlichen 
Korper ; 

— fortgesetzte Erfassung der raumlichen 
Position des Korpers ; 

— fortgesetzte Berechnung einer Darstellung 
des Datenfeldes, die jeweils der Lage des Kor- 
pers entspricht ; 

— gleichzeitige oder alternative Darstellung 
des optischen Bitdes und des Datenfeldes am 
Monitor. 

Weiters betrifft die Erfindung eine Vomch- 
tung zur Durchfuhrung des Verfahrens. 
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Die Erfindung betrifft ein Verfahren zur Darstellung beweglicher Korper. 

Es ist in der Technik und in der Medizin oftmals erforderlich, die optische Darstellung von Objekten mit 
zusatzlichen informationen anzureichern Oder verschiedene Darstellungen eines Gegenstandes miteinander 
zu kombinieren. 

5 So ist es beispielsweise bei der Durchfuhrung bestimmter Operationen am menschlichen Korper ublich und 

notwendig, preoperative Bilder mit intraoperative n Bildern zu vergleichen. Bei diesen Bildern kann es sich urn 
zweidimensionale Rontgenaufnahmen, Tomographien, Ultraschalldarstellungen oder Kernspintomographien 
handeln. 

Um zwei solcher Darstellungen in Obereinstimmung zu bringen ist es nun moglich, eine gewisse Anzahl 

10 anatomisch charakteristischer Punkte zu identifizieren und deren Koordinaten in den beiden Darstellungen fest- 
zustellen. Danach kann man die sechs Parameter einer Festkorpertransformation, namlich drei translatorische 
und drei rotatorische Parameter sowie gegebenenfalls einen Skalierungsfaktor berechnen. Damit ist es mog- 
lich, eine der beiden Darstellungen so zu drehen und zu verschieben, da& beide Bilder aus der selben Per- 
spektive und im selben MaBstab angezeigt werden konnen. Dieser ProzeB wird als "Matching" bezeichnet 

15 Die Identifikation der charakteristischen Punkte ist bei diesem Verfahren aufwendig und fehleranfallig. 

AuBerdem konnen damit stets nur zwei Einzelbilder ex post verglichen und dargestellt werden. 

Um nun das Matching zu vereinfachen wurde vorgeschlagen, am zu untersuchenden Objekt gewisse Mar- 
kierungen anzubringen, die in beiden Darstellungen sichtbar und teicht identifizierbar sind. Dies konnen Son- 
den aus einem passenden Material sein, deren Position auf Rontgenaufnahmen leicht feststellbar ist. Im Fall 

20 von optischen Darstellungen kann es sich um Farbmarkierungen auf der Hautoberflache handeln. Auch damit 
ist nur eine ex post Darstellung zweier Einzelbilder moglich. 

Um nun eine optische Darstellung eines Gegenstandes mit anderen Darstellungen, bei denen es sich wie 
oben erwahnten zweidimensionale Rontgenaufnahmen, Tomographien, Ultraschalldarstellungen oder Kern- 
spintomographien oder dgl. handeln kann, zu kombinieren, ist es im Prinzip moglich, zunachst ein dreidimen- 

25 sionales Modell der Oberflache des Korpers zu schaffen und abzuspeichern. Dieses Modell kann nun in d r 
oben erlauterten Weise etwa mit den Daten einer Kernspintomographie gematcht werden. Danach ist es mog- 
lich, den Korper aus einer beliebigen Perspekbve optisch darzustellen und gleichzeitig Daten aus der Tomo- 
graphie passend einzublenden. Die optische Darstellung wird dabei aus dem Modell errechnet 

Ein solches Verfahren ist sehr aufwendig, da sowohl ein gro&er Speicherplatzbedarf besteht als auch ein 

30 enorme Rechnerleistung erforderlich ist. AuBerdem ist auch hier keine Darstellung in Echtzeit moglich. 

Aus der AT-B 384 544 ist ein Verfahren zur Positionsbestimmung von Korperteilen bekannt Dabei wird 
mittels Ultraschallsensoren die jeweilige Lage bestimmt um die Gelenksbeweglichkeitfestzustellen. Es handelt 
sich dabei jedoch um ein rein rechnerisches Verfahren, das keine bildliche Darstellung eriaubt und deshalb 
unanschaulich ist 

35 Der gleiche Nachteil triffi auch fur die in der DE-C 34 06 179 beschriebene Vorrichtung zu. 

Die US-A 4,197,855 beschreibt eine Vorrichtung zur Messung der Bewegung des menschlichen Unterkie- 
fers, bei der ein winkelformiger Permanentmagnet zur Bestimmung der raumlichen Position dient Auch hier 
ist eine bildgebende Weiterverarbeitung nicht vorgesehen. 

Aus der DE-A 38 07 578 ist es bekannt einzelne Punkte auf einem menschlichen Kopf mit Hilfe von Vide- 
40 okameras zu vermessen. Die zu vermessenden Punkte werden dabei gemelnsam mit am Kopf angebrachten 
Bezugspunkten in einem stehenden Bild aufgenommen und elektronisch erfaBt Eine optische Darstellung ist 
nicht einmal fur stehende Einzelbilder vorgesehen. Umso weniger ist eine Darstellung in Echtzeit nahegelegt. 

Aufgabe der Erfindung ist es, diese Nachteile zu vermeiden und ein Verfahren zu schaffen, das es in ein- 
facher Weise ermoglicht, optische Darstellungen in anschaulicher Weise mit anderen Daten zu kombinieren 
45 in ubersichtlicher Weise darzustellen. 

Bei erfindungsgemaBen Verfahren ist vorgesehen, dad eine optische Darstellung des Korpers und ein dem 
Korper zugeordnetes Datenfeld gleichzeitig oder altemativ aus der selben Perspektive und im selben MaRstab 
in Echtzeit dargestellt werden. Dies bedeutet, daB sich der Korper im Aufnahmebereich frei bewegen kann. 
Dabei wird er in Echtzeit - also gleichzeitig - auf einer Anzeigevorrichtung dargestellt Ein gespeichertes Daten- 
so feld wird mit der Bewegung des Korpers mitgefuhrt und kann ebenfalls dargestellt werden. Auf diese Weise 
wird ein groBes MaB an Anschaulichkeit erreicht 

Vorzugsweise wird das erfindungsgemaBe Verfahren in folgenden Schritten durchgefuhrt 

- Bereitstellung eines optischen Abbildungssystems bestehend aus Kamera und Monitor; 

- Zuordnung eines raumlichen Datenfeldes zu dem in einer bestimmt n Lage befindlichen Korper; 
55 - fortgesetzte Erfassung der raumlichen Position des Korpers; 

- fortgesetzte Berechnung einer Darstellung des Datenfeldes, die jeweils der Lage des Kfirpers entspricht; 

- gleichzeitige oder alternative Darstellung des optischen Bildes und des Datenfeldes am Monitor. 

Es ist moglich, daB als Datenfeld die Position anatomisch charakteristischer Punkte, eine Rontgentomo- 
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graphie, eine Kernspintomograhie, eine Ultraschalldarstellung oder dgl. verwendet wird. 

Die Position von anatomisch charakteristischen Punkten kann etwa durch einen 3D- Digitizerstylus, also 

einen Magnetgriffel, erfaftt werden. Dabei wird mit der Spitze des Stylus der betreffende Punkt markiert und 

gleichzeitig durch Betatigung der Eingabetaste die Bestimmung der genauen Position ausgeldst. Es ist klar, 
5 daft dadurch nur an der Korperoberflache liegende Punkte markiert werden konnen. 

Wenn Punkte, die im Korperinneren liegen, wie zum Beispiel charakteristische Punkte von Knochen, als 

Datenpunkte herangezogen werden sollen, so kann man diese etwa durch stereophotometrische Vermessung 

auf Rontgenaufnahmen ermitteln. Ein Anwendungsfail hierfur ist die Vermessung von Gelenksbewegungen. 

Dabei werden zunachst zwei oder mehr Rontgenaufnahmen der entsprechenden Gliedmafte mit auf der Hau- 
10 toberflache angebrachten Sensoren hergesteilt. Vorzugsweise sind die Bitdebenen dieser Aufnahmen zuein- 

ander rechtwinkelig. dadurch ist es moglich, die Koordinaten von charakteristischen Punkten zu bestimmen. 
In einer bevorzugten Variante des Verfahrens ist vorgesehen, dad zur Erfassung der Lage des Korpers 

ein 3D-Sensor, vorzugsweise ein Magnet-Sensor, fest mit d em Korper verbunden wird. Die laufende Ermittlung 

der Lage des Korpers ist damit in einfacher Weise moglich. 
15 Das Datenfeld braucht sich jedoch nicht auf die Position von Punkten des Korpers selbst zu beschranken. 

Als Datenfeld kann ein Rontgenbild verwendet werden, dessen Position zum Korper dadurch bestimmt wird, 

dad bei der Rontgenaufnahme ein 3D-Sensor fest mit dem Korper und ein weiterer solcher Sensor mit der Ront- 

genkassette verbunden ist Das gewdhnliche zweidimensionale Rontgenbild wird einer Ebene aufterhalb des 

Korpers zugeordnet, z.B. der Ebene, in der sich bei der Aufnahme der Rontgenfilm befunden hat. Dieses Ront- 
20 genbild stellt dann das Datenfeld dar und es ist moglich, den Korper eines Patienten mit dessen Rontgenbild 

so darzustellen, als ob das Rontgenbild fest mit ihm verbunden ware. 

In analoger Weise kann auch als Datenfeld eine Ultraschalldarstellung verwendet werden, deren Position 

zum Korper dadurch bestimmt wird, daft bei der Beschallung ein 3D-Sensor, vorzugsweise ein Magnet-Sensor, 

fest mit dem Korper und ein weiterer solcher Sensor mit dem Ultraschallkopf verbunden ist. 
25 Bei einer bevorzugten Ausfuhrungs variante der Erfindung ist vorgesehen, dad zur Erfassung der Lage des 

Korpers ein 3D-Sensor f vorzugsweise ein Magnet-Sensor, fest mit dem Korper verbunden wird. Ein solcher 

Sensor besteht aus einem kleinen Magneten, der nicht nur die Ermittlung seiner raumlichen Position, sondem 

auch die Bestimmung seiner Winkellage erlaubt. 

Es ist moglich, daft das optische Bild mit der Darstellung des Datenfeldes am Bildschirm uberlagert wird. 
30 Dabei ist es moglich, daft dieses Datenfeld in die optische Darstellung eingeblendet wird. Es ist jedoch auch 

moglich, daft zwischen optischer Darstellung und der Datendarstellung hin und her geschalten werden kann. 

Dem Anwender sind dadurch vielfaltige Moglichkeiten geboten, sich sowohl eine anschauliche Darstellung zu 

verschaffen, als auch eine optimale Grundlage fur eine exakte Vermessung von Korperteilen zu erhalten. 
Besonders gunstig ist es, wenn das optische Bild und die Darstellung des Datenfeldes am Bildschirm in 
as unterschiedlichen Fenstem angezeigt werden. Diese Fenster konnen vom Benutzer in an sich bekannter Weise 

verschoben, ubereinandergelegt, gezoomt oder ausgeblendet werden. 

In einer besonders begunstigten Ausfuhrungsvariante des erfindung sgemaften Verfahrens ist vorgesehen, 

daft ein Teil des darstellbaren Datenfeldes aus einer willkurlich wahlbaren gedachten Achse besteht und daft 

diese Achse durch folgende Schritte gewonnen wird: 
40 - Darstellung des Korpers als stehendes Bild in mindestens zwei Stellungen; 

- Bereitstellung der Moglichkeit durch den Benutzer das Bild der Achse in die stehenden Bilder einzuzetch- 
nen; 

- Berechnung der raumlichen Lage der Achse; 

- gemeinsame Darstellung der Achse mit dem in Echtzeit beweglich dargestellten Kdrper. 

45 Soil beispielsweise in das Bild eines menschlichen Oberschenkels die Achse des Femurs eingeblendet 

werden, so wird folgendermaften vorgegangen: Zunachst wird der Lagesensor auf eine durch Weichteilbewe- 
gungen mdglichstwenig beeinfluftte Hautpartie aufgeklebt. Dann werden mitderVideokamera Einzelbilder auf- 
genommen und gleichzeitig oder hintereinander am Bildschirm angezeigt. Durch den Lagesensor ist dabei die 
Position des Korperteil im Zeitpunkt der Aufnahme des Bildes bekannt. Der Benutzer kann dann etwa mit Hilfe 

so einer Maus in jedes Einzelbild eine Achse einzeichnen. Fur den Rechner stellt dies die Projektion einer im drei- 
dimensionalen Raum befindlichen Achse auf die Bildebene dar. Wenn diese Achse in zwei verschiedenen Dar- 
stellungen, b ispielsweise in einer Vorderansicht und einer Seitenansicht erfolgt ist, kann damit die raumliche 
Position bestimmt werden. 

Es hat sich in diesem Zusammenhang als gunstig herausgestellt, wenn etwa vier Einzelbilder nebenein- 

55 ander in jeweils einem Fenster dargestellt werden. Der Benutzer jed s dieser Bilder zum Eintragen od r Andern 
der Achse benutzen. Sobald die raumlich Lage der Achse bestimmbar ist, wird di se auch fur di ubrigen Bil- 
der berechnet und angezeigt Somit ist eine genaue Kontrolle der Eingabe moglich. 

Ingl icher Weise ist es moglich, daft ein Teil des darstellbaren Datenfeldes aus einem willkurlich wahlbaren 
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Koordinatensystem besteht, dessen Achsen in der oben definierten Art gewonnen werden. Nach der raum- 
lichen Festiegung einer Achse eines orthogonalen Koordinatensystems braucht lediglich eine weitere Achse 
in einem Bild eingetragen werden, urn die Lage zu definieren. 

Nach der Eingabe berechnet das Programm die Lage der Achse bzw. der Achsen in Bezug auf den Lage- 
5 sensor und ist damit in der Lage, in jede Darstellung des Korperteils diese Achse einzublenden, sodali sich 
diese mit dem Korperteil mitbewegt. 

Die eingeblendete Achse, bzw. das Koordinatensystem kann an sich schon das Datenfeld im Sinne der 
Erfindung darstellen oder zusatziich zu einer Rontgentomographie o. dgl. angezeigt werden. 

Waiters betrifft die Erfindung eine Vorrichtung zur Darstellung bewegiicher Korper. Erfindungsgemali 
10 besteht diese Vorrichtung aus: 

- einer Kamera; 

- einem Monitor; 

- einem Lagesensor, der mit dem darzustellenden Korper fest verbunden ist und die Bestimmung der 
jeweiligen Lage des Korpers ermoglicht; 

is - Mitteln, die die gleichzeitige oder alternative Darstellung des optischen Bildes und des Datenfeldes am 

Monitor ermoglichen. 

Bei diesen letztgenannten Mitteln handelt es sich im allgemeinen um einen Computer, der die erforder- 
lichen Berechnungen durchfuhrt Bei diesen Berechnungen ist der raumliche Abstand zwischen dem Brenn- 
punkt der Kameraoptik und dem Ausgangspunkt des fur den Lagesensor verwendeten Feldes, also etwa des 
20 von einem Magnetfeldemittor erzeugten magnetischen Feldes zu berucksichtigen. Weiters geht die relative 
Lage der Punkte des Datenfeldes in Bezug auf den Lagesensor in die Berechnung ein. An Stelle eines Com- 
puters kann jedoch auch ein entsprechend programmierter Mikroprozessor diese Berechnungen durchfuhren. 

Eine besonders einfache und leicht realisierbare Ausfuhrungsvariante der Erfindung ist dadurch gegeben, 
da& als Monitor der Bildschirm eines Personal Computers eingesetzt wird, wobei die Kamera am Videoeingang 
25 angeschlossen ist und das Datenfeld uber den Personal Computer in einen weiten Eingang eingespielt wird. 
Dabei wird der aus der Auf nahme der optischen Bilder stammende Datenstrom vollstandig am Computer vor- 
beigelenkt und belastet dessen Verarbeitungskapazitat uberhaupt nicht. Dadurch steht die gesamte Rechen- 
leistung fur die zusatzliche Darstellung des Datenfeldes zur Verfugung. 

Im folgenden wird die Erfindung anhand eines in der Figur dargestellten Ausfuhrungsbeispieles naher 
30 eriautert 

Eine Videokamera 1 ist fest mit einem Magnetfeldemittor 2 verbunden. Dieser Magnetfeldemittor 2 besteht 
im wesentlichen aus einer Spule, die an einen elektrischen Stromkreis angeschlossen ist und ein magnetisches 
Feld erzeugt Am Kopf 3 des Patienten ist ein Magnetsensor 4 angebracht. Dieser Magnetsensor besteht eben- 
falls aus Spulen, in denen durch das vom Magnetfeldemittor 2 erzeugte Feld Strome induziert werden. Durch 
35 Messung dieser Strome kann man die Position des Magnetsensors 4 auf etwa einen Millimeter genau bestinv 
men. 

Mit einem Magnetgriffel 5 werden drei Meftpunkte A, B und C markiert. Auch im Magnetgriffel 5 sind wie 
beim Magnetsensor 4 Spulen zur Lageerkennung vorgesehen. Die Markierung erfolgt in der Weise, da& die 
Spitze 6 des Griffels an den enteprechenden Punkt gebracht wird und dann eine Auslosetaste betatigt wird. 

40 Der Computer 7 speichert die momentane Position der Spitze 6 als Datenpunkt. Auf dem Monitor 8 des Com- 
puters 7 wird der Kopf 3 zusammen mit den Datenpunkten A, B und C dargestellt Dabei ist es moglich diese 
Datenpunkte auch dann darzustellen, wenn sie als reale Punkte nicht sichtbar waren, weil sie sich gerade auf 
der der Kamera abgewandten Seite des Kopfes befmden. Auch die Position andererverdeckter Punkte ist dabei 
darstellbar. So kann mit dem Griffel 5 die Position eine bestimmten Zahnes markiert werden, der dann auch 

45 bei geschlossenem Mund lokalisiert werden kann. Falls sich dieser Zahn auf der unteren Zahnreihe befindet, 
muR jedoch die Stellung des Unterkiefers zusatziich erfaBt werden. Dies ist durch die Anbringung eines nicht 
dargestellten weiteren Sensors moglich. 

Wenn an der Kamera 1 ein zusatzlicher Magnetsensor 9 angebracht ist, so kann eine starre Kopplung zwi- 
schen der Kamera 1 und dem Magnetfeldemittor 2 entfallen. Der Computer 7 berucksichtigt dann die variabl 

so Versetzung zwischen Kamera 1 und Magnetfeldemittor 2. 


Pat ntanspruche 

55 1. Verfahren zur Darstellung bewegiicher Korper, bei dem eine optische Darstellung des Korpers und ein 
dem Korper zugeordnetes Datenfeld gleichzeitig oder alternate aus derselben Perspektive und im selben 
MaRstab in Echtzeit darg stelltwerd n. 
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2. Verfahren zur Darstellung beweglicher Korper, bestehend aus folgenden Schritten: 

- Bereitstellung eines optischen Abbildungssystems bestehend aus Kamera und Monitor; 

- Zuordnung eines raumlichen Datenfeldes zu dem in einer bestimmten Lage befindlichen Korper; 

- fortgesetzte Erfassung der raumlichen Position des Korpers; 

s - fortgesetzte Berechnung einer Darstellung des Datenfeldes, die jeweils der Lage des Korpers ent- 

spricht; 

- gleichzeitige oder alternative Darstellung des optischen Bildes und des Datenfeldes am Monitor. 

3. Verfahren zur Darstellung eines menschlichen oder tierischen Korpers nach einem der Anspruche 1 oder 
10 2, dadurch gekennzeichnet, daft als Datenfeld die Position anatomisch charakteristischer Punkte, eine 

Rontgentomographie, eine Kernspintomograhie, eine Ultraschalldarstellung oder dgl. verwendet wird. 

4. Verfahren nach einem der Anspruche 1 bis 3, dadurch gekennzeichnet, daG zur Erfassung der Lage des 
Korpers ein 3D~Sensor, vorzugsweise ein Magnet-Sensor, fest mit dem Korper verbunden wird. 

15 

5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, daft als Datenfeld ein Rontgenbild verwendet wird, 
dessen Position zum Korper dadurch bestimmt wird, daft bei der Rontgenaufnahme ein 3D-Sensor fest 
mit dem Korper und ein weiterer solcher Sensor mit der Rontgenkassette verbunden ist. 

20 6. Verfahren nach Anspruch 4; dadurch gekennzeichnet, daG als Datenfeld eine Ultraschalldarstellung ver- 
wendet wird, de-ren Position zum Korper dadurch bestimmt wird, daG bei der Beschallung ein 3D-Sensor, 
vorzugsweise ein Magnet-Sensor, fest mit dem Korper und ein weiterer solcher Sensor mit dem Ultra- 
schallkopf verbunden ist 

25 7. Verfahren nach einem der Anspruche 1 bis 6, dadurch gekennzeichnet daG das optische Bild mit der Dar- 
stellung des Datenfeldes am Bildschirm uberlagert wird. 

8. Verfahren nach einem der Anspruche 1 bis 6, dadurch gekennzeichnet, dad das optische Bild und die Dar- 
stellung des Datenfeldes am Bildschirm in unterschiedlichen Fenstern angezeigt werden. 

30 

9. Verfahren nach einem der Anspruche 1 bis 8, dadurch gekennzeichnet, dad ein Teil des darstellbaren 
Datenfeldes aus einer willkurlich wahlbaren gedachten Achse besteht und daG diese Achse durch fol- 
gende Schritte gewonnen wird: 

- Darstellung des Korpers als stehendes Bild in mindestens zwei Stellungen; 

35 - Bereitstellung der Moglichkeit durch den Benutzer das Bild der Achse in die stehenden Biider einzu- 

zeichnen; 

- Berechnung der raumlichen Lage der Achse; 

- gemeinsame Darstellung der Achse mit dem in Echtzeit beweglich dargestellten Korper. 

40 10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, daG ein Teil des darstellbaren Datenfeldes aus ei- 
nem willkurlich wahlbaren Koordinatensystem besteht, dessen Achsen in der in Anspruch 9 definierten 
Art gewonnen werden. 

11. Vorrichtung zur Darstellung beweglicher Korper, bestehend aus: 
45 - einer Kamera (1); 

- einem Monitor (8); 

- einem Lagesensor (4), der mit dem darzusteflenden Korper (3) fest verbunden ist und die Bestimmung 
der jeweiligen Lage des Korpers (3) ermoglicht; 

- Mittetn, die die gleichzeitige oder alternative Darstellung des optischen Bildes und des Datenfeldes 
so am Monitor (8) ermoglichen. 

12. Vorrichtung nach Anspruch 11, dadurch gekennzeichnet daG als Monitor der Bildschirm eines Personal 
Computers (7) eingesetzt wird, wobei die Kamera (1) am Videoeingang angeschlossen ist und das Daten- 
feld uber den Pers nal Computer (7) in einen weiten Eingang eingespielt wird. 

55 
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(54) Process for displaying movable bodies. 

- (57) The invention concerns a process for displaying movable bodies wherein an optical 
display of the body and a data field subordinated to the body are displayed simultaneously or 
alternately in real time. The procedure consists of the following stages: 

- Providing an optical display system consisting of camera and monitor; 

- Allocation of a spatial data field to the body located in a particular position; 

- Continued recording of the spatial position of the body; 

- Continued calculation-of a display of the data fields, which corresponds to all given 
positions of the body; 

- Simultaneous or alternating display of the optical image and the data field on the monitor. 
The invention further involves a device to implement the procedure. 
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The invention concerns a procedure for the display of movable bodies. 

In technology and medicine it is frequently necessary to enhance the optical display of objects 
with additional information or to combine different displays of an object with each other. 

Thus, for example, when performing certain operations on the human body, standard practice 
requires comparing pre-operative images with intra-operative images. These images can be 
two-dimensional X-ray images, tomograms, ultrasound displays or NMRs. 

I n order to bring two such displays into a greement, it is now possible to identify a certain 
number of anatomically characteristic points an d ascertain their coordinates in the two " 
displays. This allows calculation of the six parameters of a solid body transformation, i.e. the 
three parameters of translation and three parameters of rotation, and also a scaling factor as 
appropriate. It is thus possible to rotate and display one of the two displays so that two 
pictures can be displayed from the same perspective and on the same scale. This process is 
known as "matching." 

In order to simplify matching, it is suggested to place oh the object to be investigated certain 
markings which are visible in both displays and are easily identifiable. These may be probes 
made of a suitable material, whose position on X-ray pictures can be readily ascertained. In 
the case of optical displays, these may be color markings on the surface of the skin. Here too, 
only an ex post display of two frames is possible. 

In order to combine an optical display of an object with other displays - which, as mentioned 
above may be two-dimensional X-ray images, tomograms, ultrasound displays or NMRs or 
similar -it is first possible, in principle, to create and store a three-dimensional mode l of the 
surface of the body. This model can subsequently be matched in the above-mentioned fashion 
with the data of an NMR. This enables optical display of the body from any desired 
perspective and simultaneous insertion of data from tomography. The optical display is 
calculated from the model. 

Such a procedure is extremely costly, since it requires a great deal of storage space, as well as 
large-scale computing capacity. In addition, real-time display is not possible. 

From AT-B 384 544 a procedure is known for determining the position of body parts. 
Ultrasound sensors are used to determine the relevant position in order to ascertain the 
mobility of joints. However, this is a purely mathematical process which does not allow for 
any showing of images and hence cannot be displayed. 

The same drawback applies also to the device described in DE-C 34 06 179. 

US-A 4, 197,855 describes a device to measure the movement of a human lower jaw, where 
an angular permanent magnet is used to determine spatial position. Here too, no further 
imaging processing is envisaged. 

From DE-A 38 07 578 a process is known for measuring individual points on a human head 
by means of video cameras. The points to be measured are pictured in a vertical image and 
recorded electronically together with reference points placed on the head. An optical display is 
not envisaged even for vertical frames. This is even more applicable to real-time display. 

The object of the invention is to avoid these drawbacks and create a procedure which will 
make it possible, in a simple fashion, to combine optical displays with other data graphically 
and display them clearly. 
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In the procedure according to the invention, provision is made for an optical display of the 
body and a data field allocated to the body to be displayed simultaneously or alternately from 
the same perspective and to the same scale in real time. This means that the body can move 
freely in the image area. As it does so, it is displayed in real time, i.e. simultaneously, on a 
display device. A stored data field accompanies the movement of the body and can also be 
displayed. In this way a major degree of clarity is achieved. 

The procedure according to the invention is preferentially carried out in the following steps: 

- Preparing an optical imaging system consisting of a camera and a monitor; 

- Allocating a spatial data field to a body located in a specific position; 

- Continued recording of the spatial position of the body; 

- Continued calculation of a display of the data field, which at any one time corresponds to the 
position of the body; 

- Simultaneous or alternating display of the optical image and the data field on the monitor. 

It is possible to use as data field the position of anatomically characteristic points, an X-ray 
tomograph, an NMR, an ultrasound image or similar. 

The position of anatomically characteristic points can be recorded by means of a device such 
as a 3D digital stylus, i.e. a magnetic stylus. The tip of the stylus is used to mark the relevant 
points; at the same time, activation of the Enter key triggers the determination of the precise 
position. Obviously, only points on the surface of the body can be marked. 

If points which lie inside the body, such as characteristic points of bones, are to be used as 
data points, these should be determined by a method such as stereophotometric measurement 
on X-ray images. An instance of the application of this approach would be the measuring of 
the movements of joints. To do this, two or more X-ray pictures of the corresponding limbs 
are first taken, using sensors placed on the surface of the skin. The focal planes of these 
pictures are preferably at right angles to each other, enabling the coordinates of characteristic 
points to be determined. 

A preferential variant of the procedure involves a 3D sensor - preferably a magnetic sensor — 
which is securely connected to the body and records the position of the body, making it a 
simple matter to continuously determine the position of the body. 

The data field does not, however, necessarily have to be restricted to the position of points of 
the body. An X-ray image can be used as a data field. The position of the image relative to the 
body is determined by a 3D sensor which is securely connected to the body during the X-ray 
imaging, with an additional such sensor being connected to the X-ray plate holder. The normal 
two-dimensional X-ray image is assigned to a plane outside the body, e.g. the plane in which 
the X-ray was located when the picture was taken. This X-ray image then represents the data 
field and it is possible to display the body of a patient with this X-ray picture in such a way as 
if there was a firm link between it and the X-ray picture. 

It is similarly possible in to use as data field an ultrasound display, whose position relative to 
the body is determined by having a 3D sensor, preferably a magnetic sensor, which during the 
exposure to ultrasound waves is securely connected to the body. Such a sensor consists of a 
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small magnet which enables not only its spatial position but also its relative position to be 
determined. 

It is possible fo r the optical image to be superimposed with the display of the data field on the 
screen. At this point, it is possible for this data field to be inserted in the optical display. 
However, it is also possible to toggle between the optical display and the data display. This 
offers the user diverse options so as to have both a graphic display and also an optimum basis 
for exactly measuring body parts. 

It is particularly advantageous if the optical image and the display of the data field on the 
screen are displayed in different windows. The user can move, superimpose, zoom, or blank 
out these windows in the known fashion. 

In a particularly favorable embodiment of the procedure according to the invention, it would 
be possible for part of the displayable data field to consist of an imaginary axis selected 
arbitrarily and for this axis to be obtained by the following steps: 

- Displaying the body as a vertical image in at least two positions; 

- Providing the possibility of the user drawing the image of the axis into the vertical images; 

- Calculating the spatial position of the axis; 

- Joint display of the axis together with the moving bodies displayed in real time. 

If, for example, the axis of the femur is to be inserted into the image of a human thigh, the 
following procedure will be followed: First the position sensor is stuck to a part of the skin 
which is influenced as little as possible by movements of soft parts. Frames are then taken 
using the video camera and displayed simultaneously or consecutively on the screen. Because 
of the position sensor, when doing this the position of the body part is known at the time that 
the picture was taken. The user can then use the mouse to draw an axis into each individual 
shot. For the computer, this constitutes the projection onto the focal plane of an axis located in 
the three-dimensional space. If this axis has been displayed in two different views, e.g. a front 
view and a side view, the spatial position can then be determined. 

In this context, it has proven to be advantageous for some four individual shots to be 
displayed side by side, each in a window of its own. The user takes each of these images and 
uses them to enter or modify the axis. Once the spatial position of the axis can be determined, 
this is also calculated and displayed for the other images. This makes possible accurate control 
of input. 

It is similarly possible for part of the displayable data field to consist of a system of 
coordinates which can be chosen arbitrarily, their axes being obtained in the fashion described 
above. After the spatial determination of an axis of an orthogonal system of coordinates, only 
one additional axis must be plotted in an image in order to define the position. 

After input, the program calculates the position of the axis or axes relative to the position 
sensor so that it is able to insert these axes into every display of the body part, in order for 
these to move in step with the body part. 

The inserted axes or the system of coordinates can independently display the data field as 
defined in the invention, or can be displayed in addition to an X-ray tomograph or similar. 
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The invention further concerns a device for the display of movable bodies. According to the 
invention, this device consists of: 

- a camera; 

- a monitor; 

- a position sensor which is securely connected to the body to be displayed and enables the 
relevant position on the body to be determined; 

- means which enable either simultaneous or alternating display of the optical image and data 
field on the monitor. 

These above-mentioned means are generally a computer which performs the requisite 
calculations. These calculations must take account of the spatial distance between the focus of 
the camera optics and the starting point of the field used for the position sensor, i.e. the 
magnetic field generated by a magnetic field emitter. The calculation also includes the relative 
position of the points of the data field relative to the position sensor. However, in performing 
these calculations the computer can be replaced by an appropriately programmed 
microprocessor. 

A particularly simply and easy-to-achieve embodiment of the invention can be realized by 
using a monitor as a PC screen, the camera being connected to the video input and the data 
field being input into another input or port. In this setup, the data stream resulting from the 
picture of the optical images completely bypasses the computer and therefore does not tie up 
its processing capacity. As a result, all of its computing power is available for additional 
display of the data field. 

The invention is described below in greater detail by means of an embodiment shown in the 
figure. 

A video camera 1 is securely connected to a magnetic field emitter 2. This magnetic field 
emitter 2 consists primarily of a coil which is connected to an electrical circuit and generates a 
magnetic field. A magnetic sensor 4 is located at the patient's head 3. This magnetic sensor 
also consists of coils in which the field generated by the magnetic field emitter 2 induces 
currents. By measuring these currents, it is possible to precisely determine the position of the 
magnetic sensor 4 to within around one millimeter. 

The magnetic stylus 5 is used to mark three measurement points A, B, and C. As in the 
magnetic sensor 4, coils are fitted on the magnetic stylus 5 for position-recognition purposes. 
The marking is carried out by the tip 6 of the magnetic stylus being placed on the appropriate 
point and a release button then being activated. The computer stores the transient position of 
the tip 6 as a data point. The head 3 is displayed together with the data points A, B, and C on 
the monitor 8 of the computer 7. This makes it possible to display these data points, even if 
they would not be visible as real points because they are on the side of the head which is 
turned away from the camera. The position of other concealed points can also be displayed by 
"means of this method. Thus the magnetic stylus 5 can be used to mark the position of a 
specific tooth which can be localized when the patient's mouth is closed. If this tooth is in the 
lower set, the position of the lower jaw must, however, also be recorded. This is made 
possible by applying another sensor (not shown). 
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If an additional magnetic sensor 9 is applied on camera 1, it is not necessary for there to be a 
rigid link between camera 1 and magnetic field emitter 2. The computer 7 will then take 
account of the variable displacement between camera 1 and magnetic field emitter 2. 

Patent claims 

1 . Procedure for displaying movable bodies, in which a visual display of the body and a data 
field assigned to the body can be shown simultaneously or alternately in real time, from 
the same perspective and to the same scale. 


2. Procedure for displaying movable bodies, consisting of the following steps: 

- Preparing an optical imaging system consisting of camera and monitor; 

- Allocating a spatial data field to a body located in a specific position; 

- Continued recording of the spatial position of the body; 

- Continued calculation of a display of the data field, which at any one time corresponds 
to the position of the body; 

- Simultaneous or alternating display of the optical image and the data field on the 
monitor. 


3. Procedure for display of a human or animal body according to either of Claims 1 or 2, 

wherein the data field used consists of the position of anatomically characteristic point, an 
X-ray tomograph, NMR, ultrasound display, or similar. 


4. Procedure according to any of Claims 1 through 3, wherein, in order to record the 

position of the body, use is made of a 3D sensor, preferentially a magnetic sensor, which 
is securely connected to the body. 


5. Procedure according to Claim 4, wherein the data field used consists of an X-ray image, 
whose position to the body is determined by the fact that during the X-ray picture a 3D 
sensor is securely connected to the body and another such sensor is connected to the 
X-ray plate holder. 


6. Procedure according to Claim 4, wherein the data field used consists of an ultrasound 
display, whose position to the body is determined by the fact that during the X-ray picture 
a 3D sensor is securely connected to the body and another such sensor is connected to the 
X-ray plate holder. 
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7. 


Procedure according to any of Claims 1 through 6, wherein the optical image is 
superimposed with the data field on the screen. 


8. Procedure according to any of Claims 1 through 6, wherein the optical image and the 
display of the data field on the screen are shown in different windows. 


9. Procedure according to any of Claims 1 through 6, wherein part of the displayable data 
field consists of an imaginary axis selected arbitrarily, this axis being obtained by the 
following steps: 

- Displaying the body as a vertical image in at least two positions; 

- Providing the possibility of the user drawing the image of the axis into the vertical 
images; 

- Calculating the spatial position of the axis; 

- Joint display of the axis together with the body displayed moving (?) in real time. 


10. Procedure according to Claim 9, wherein part of the displayable data field consists of a 
system of coordinates selected arbitrarily, whose axes are obtained in the fashion 
defined in Claim 9. 

1 1 . Device for displaying movable bodies, consisting of: 

- a camera (1); 

- a monitor (8); ■•- 

- a position sensor (4) which is securely connected to the body (3) to be displayed and 
enables the relevant position of the body (3) to be determined; 

- means which enable the optical image and data field to be displayed on the monitor 
(8) either simultaneously or alternately. 


12. Device according to Claim 1 1 , wherein the screen of a personal computer (7) is used as 
monitor, the camera (1) being connected to the video input and the data field being input via 
the personal computer (7) into another input or port. 
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